Benchmark performance of deep learning classifiers alone is not a reliable predictor for the performance of a deployed model. In particular, if the image classifier has picked up spurious features in the training data, its predictions can fail in unexpected ways. In this paper, we develop a framework that allows us to systematically identify spurious features in large datasets like ImageNet. It is based on our neural PCA components and their visualization. Previous work on spurious features of image classifiers often operates in toy settings or requires costly pixel-wise annotations. In contrast, we validate our results by checking that presence of the harmful spurious feature of a class is sufficient to trigger the prediction of that class. We introduce a novel dataset "Spurious ImageNet" and check how much existing classifiers rely on spurious features.
translated by 谷歌翻译
图像空间中的视觉反事实解释(VCE)是了解图像分类器的决策的重要工具,因为它们显示了图像的更改,分类器的决策将会改变。他们在图像空间中的产生具有挑战性,由于对抗性例子的问题,需要强大的模型。在图像空间中生成VCE的现有技术遭受背景虚假变化的影响。我们对VCE的新型扰动模型以及通过我们的新型自动 - 弗兰克 - 摩 - 摩托方案的有效优化产生了稀疏的VCE,从而导致了针对目标类别的细微变化。此外,我们表明,由于Imagenet数据集中的虚假特征,VCE可用于检测Imagenet分类器的不希望的行为。
translated by 谷歌翻译
因果推理的现有机器学习方法通​​常通过潜在结果平均值(例如平均治疗效应)估计数量。但是,此类数量不会捕获有关潜在结果分布的完整信息。在这项工作中,我们估计了观察数据干预后潜在结果的密度。具体而言,我们为此目的提出了一种新颖的,全参数的深度学习方法,称为介入归一化流。我们的介入归一化流提供了正确归一化的密度估计器。为此,我们介绍了两个正常流的迭代培训,即(i)教师流以估计令人讨厌的参数,以及(ii)学生流量,用于参数估计潜在结果的密度。为了对学生流参数的有效且双重稳定的估计,我们基于一步偏置校正开发了一个自定义的可拖动优化目标。在各种实验中,我们证明了我们的干预归一化流具有表达性和高效,并且可以很好地扩展样本量和高维混杂。据我们所知,我们的介入归一化流是第一种完全参数的深度学习方法,用于估计潜在结果。
translated by 谷歌翻译